变化自动编码器（VAE）最近已用于对复杂密度分布的无监督分离学习。存在许多变体，以鼓励潜在空间中的分解，同时改善重建。但是，在达到极低的重建误差和高度分离得分之间，没有人同时管理权衡。我们提出了一个普遍的框架，可以在有限的优化下应对这一挑战，并证明它在平衡重建时，它优于现有模型的最先进模型。我们介绍了三个可控的拉格朗日超级参数，以控制重建损失，KL差异损失和相关度量。我们证明，重建网络中的信息最大化等于在合理假设和约束放松下摊销过程中的信息最大化。
translated by 谷歌翻译
在本文中，我们建议在分散的设置中解决一个正规化的分布鲁棒性学习问题，并考虑到数据分配的变化。通过将Kullback-Liebler正则化功能添加到可靠的Min-Max优化问题中，可以将学习问题降低到修改的可靠最小化问题并有效地解决。利用新配制的优化问题，我们提出了一个强大的版本的分散的随机梯度下降（DSGD），分布在分布方面具有强大的分散性随机梯度下降（DR-DSGD）。在一些温和的假设下，前提是正则化参数大于一个，我们从理论上证明DR-DSGD达到了$ \ MATHCAL {O} \ left的收敛速率$，其中$ k $是设备的数量，而$ t $是迭代次数。仿真结果表明，我们提出的算法可以提高最差的分配测试精度，最高$ 10 \％$。此外，DR-DSGD比DSGD更有效，因为它需要更少的沟通回合（最高$ 20 $ $倍）才能达到相同的最差分配测试准确性目标。此外，进行的实验表明，在测试准确性方面，DR-DSGD会导致整个设备的性能更公平。
translated by 谷歌翻译
3D反向工程是一个备受追捧的人，但在计算机辅助设计（CAD）行业中却没有完全实现。目的是恢复CAD模型的施工历史。从CAD模型的边界表示（B-REP）开始，本文提出了一个新的深神经网络CADOPS-NET，该网络共同学习了CAD操作类型和分解为不同的CAD操作步骤。这种联合学习允许将B-REP划分为在同一施工步骤中由各种CAD操作创建的部分；因此，提供相关信息以进一步恢复设计历史记录。此外，我们提出了新颖的CC3D-OPS数据集，其中包括带有CAD操作类型标签和步骤标签注释的37K $ CAD型号。与现有数据集相比，CC3D-OPS模型的复杂性和种类更接近用于工业目的的模型。我们对拟议的CC3D-OPS和公开融合360数据集进行的实验证明了Cadops-NET相对于最先进的竞争性能，并确认了CAD操作类型和步骤联合学习的重要性。
translated by 谷歌翻译
从3D部分纹理扫描中重建3D人体形状仍然是许多计算机视觉和图形应用程序的基本任务 - 例如，身体动画和虚拟敷料。我们提出了一种新的神经网络体系结构，用于3D身体形状和高分辨率纹理完成-BCOM-NET，可以重建从中级到高级部分输入扫描的完整几何形状。我们将整个重建任务分解为两个阶段 - 首先，一个联合隐式学习网络（SCOM-NET和TCOM-NET），该网络将进行体素化扫描及其占用网格作为重建全身形状并预测顶点纹理的输入。其次，一个高分辨率的纹理完成网络，利用预测的粗顶点纹理来注入部分“纹理图集”的缺失部分。对3DBodyTex.V2数据集进行了彻底的实验评估表明，我们的方法在最先进的情况下取得了竞争成果，同时概括了不同类型和部分形状的水平。所提出的方法在2022年尖锐的挑战1-Track1中也排名第二。
translated by 谷歌翻译
在这项工作中，我们认为寻找人工通用智能（AGI）应该从比人类水平的智能低得多的水平开始。自然界中智能行为的环境是由于有机体与周围环境相互作用的情况，这种环境可能会随着时间的流逝而改变，并对有机体施加压力，以便学习新的行为或环境模型。我们的假设是，学习是通过解释代理在环境中作用时的感觉反馈而发生的。为此，需要一个身体和反应性环境。我们评估了一种进化生物学启发的人工神经网络的方法，该神经网络从名为“人工通用智能的神经进化”（Nagi）的环境反应中学习，这是一个低水平AGI的框架。该方法允许使用自适应突触的随机启用尖峰神经网络的进化络合，该神经网络控制在可变环境中实例化的代理。这种配置使我们能够基准基准控制器的适应性和通用性。可变环境中所选的任务是食品觅食，逻辑门的仿真和卡特杆平衡。这三个任务通过相当小的网络拓扑成功解决，因此，它打开了实验更复杂的任务和方案的可能性，其中课程学习是有益的。
translated by 谷歌翻译
Pansharpening使用高空间分辨率Panchromatic图像的特征增强了高光谱分辨率多光谱图像的空间细节。有许多传统的pansharpening方法，但是产生表现出高光谱和空间保真度的图像仍然是一个空旷的问题。最近，深度学习已被用来产生有希望的Pansharped图像。但是，这些方法中的大多数通过使用相同的网络进行特征提取，对多光谱和全球性图像都采用了类似的处理。在这项工作中，我们提出了一个新型的基于双重注意的两流网络。首先使用两个单独的网络进行两个图像的特征提取，这是一种具有注意机制的编码器，可重新校准提取的功能。接下来是融合的特征，形成喂入图像重建网络的紧凑表示形式以产生pansharped图像。使用标准定量评估指标和视觉检查的PL \'{E} IADES数据集的实验结果表明，就Pansharped图像质量而言，所提出的方法比其他方法更好。
translated by 谷歌翻译
我们提出了Covy - 一个机器人平台，可在Covid-19等大流行期间促进社会疏远。Covy具有一种新颖的复合视觉系统，使其能够检测到社会距离的破坏，最多可达16m。Covy使用混合导航堆栈自动地导航其周围环境，该堆栈结合了深钢筋学习（DRL）和概率定位方法。我们通过模拟和现实环境中的大量实验构建了完整的系统并评估了Covy的性能。除其他外，我们的结果表明，与基于DRL的纯解决方案相比，混合导航堆栈更强大。
translated by 谷歌翻译
变形金刚是使用多层自我注意力头的神经网络模型。注意力是在变形金刚中实现的，作为“键”和“查询”的上下文嵌入。变形金刚允许从不同层重新集合注意力信息，并同时处理所有输入，在处理大量数据时，它们比复发性神经网络更方便。近年来，变形金刚在自然语言处理任务上表现出色。同时，已经做出了巨大的努力，以使变压器适应机器学习的其他领域，例如Swin Transformer和Decision Transformer。 Swin Transformer是一种有前途的神经网络体系结构，将图像像素分为小斑块，并在固定尺寸的（移位）窗口内应用本地自我发挥操作。决策变压器已成功地将变形金刚应用于离线增强学习，并表明来自Atari游戏的随机步行样本足以让代理商学习优化的行为。但是，将在线强化学习与变形金刚结合在一起是更具挑战性的。在本文中，我们进一步探讨了不修改强化学习政策的可能性，而仅使用Swin Transformer的自我发明体系结构代替卷积神经网络架构。也就是说，我们旨在改变代理商对世界的看法，而不是代理商如何计划世界。我们在街机学习环境中对49场比赛进行实验。结果表明，在街机学习环境中，使用SWIN Transform在强化学习中的评估得分明显更高。因此，我们得出的结论是，在线强化学习可以从用空间令牌嵌入来利用自我侵犯中受益。
translated by 谷歌翻译
牛顿型方法由于其快速收敛而在联合学习中很受欢迎。尽管如此，由于要求将Hessian信息从客户发送到参数服务器（PS），因此他们遭受了两个主要问题：沟通效率低下和较低的隐私性。在这项工作中，我们介绍了一个名为Fednew的新颖框架，其中无需将Hessian信息从客户传输到PS，因此解决了瓶颈以提高沟通效率。此外，与现有的最新技术相比，Fednew隐藏了梯度信息，并导致具有隐私的方法。 Fednew中的核心小说想法是引入两个级别的框架，并在仅使用一种交替的乘数方法（ADMM）步骤更新逆Hessian级别产品之间，然后使用Newton的方法执行全局模型更新。尽管在每次迭代中只使用一个ADMM通行证来近似逆Hessian梯度产品，但我们开发了一种新型的理论方法来显示Fednew在凸问题上的融合行为。此外，通过利用随机量化，可以显着减少通信开销。使用真实数据集的数值结果显示了与现有方法相比，在通信成本方面，Fednew的优越性。
translated by 谷歌翻译
Q学习是最著名的增强学习算法之一。使用神经网络开发该算法已经做出了巨大的努力。其中包括引导深度Q学习网络。它利用多个神经网络头将多样性引入Q学习。有时可以将多样性视为代理商在给定状态下可以采取的合理移动量，类似于RL勘探比的定义。因此，引导深度Q学习网络的性能与算法中的多样性水平深厚相关。在最初的研究中，有人指出，随机的先验可以提高模型的性能。在本文中，我们进一步探讨了用噪声代替先验的可能性，并从高斯分布中采样噪声，以将更多的多样性引入该算法。我们对Atari基准测试进行实验，并将我们的算法与原始算法和其他相关算法进行比较。结果表明，我们对自举的深Q学习算法的修改可在不同类型的Atari游戏中获得更高的评估得分。因此，我们得出的结论是，用噪声代替先验可以通过确保多样性的完整性来改善自举的深度Q学习的性能。
translated by 谷歌翻译